Agentic 检索静默失败:LARA 框架与 Adobe Express 生产证据
🧭 Agentic Retrieval 评估归因 ★ 深度解读
Adobe
提出 LARA 三层评估与四字段血缘 schema,解决 agentic 助手检索归因缺失,并用 Adobe Express 生产数据验证
📌 工作参考价值(4 点)
- 不要用 assistant-wide CTR/reformulation 作为检索指标;只在 retrieval 触发的 turn 上计算,并把 reformulation 拆成 Search Reformulation 与 Downstream Correction,避免把生成润色误判为检索失败。
- 至少先加 returned_asset_ids(检索触发时的完整排序列表),这是解锁 Layer 1 离线评估的最高价值单一字段;再加 retrieval_id / consumed_asset_id / source_retrieval_id 做跨 turn、跨 session 归因,纯日志改动无需新模型。
- 对电商/Agent RAG 场景,显式打 retrieval role tag(direct retrieval、retrieve-then-act、reference input 等),并分开统计 GPR、ACR、ORF、UOR,不要把 UOR 当成成功或放弃。
- 关注 Layer 0 planner routing:如果检索触发率极低,先估算 missed-retrieval rate,用 ground-truth intent 对照 planner 决策;否则再好的 Layer 1 也只覆盖极少流量。
AGR:工具增强搜索的智能体生成式检索
🧭 生成式检索 · Semantic ID 工具增强 ★ 深度解读
Fudan University · Kuaishou Technology
把异构特征封装为可调用工具,按需在 SID 解码中注入观察 token,实现请求与层级自适应的生成式检索
📌 工作参考价值(4 点)
- 将用户长期行为、意图、位置、新鲜度等特征封装为 tool token + observation token,在 beam search 每个候选前缀上按需触发;不确定分支(如电影 vs 游戏)才调用对应工具,避免把全量特征塞进 prompt,既可降噪声也可省 serving 成本。电商搜索/推荐生成式召回中,可对用户历史点击序列、实时意图、价格敏感度、库存/时效做同样工具化。
- 训练数据构造的 when/where 规则可直接复用:只用 target 侧与请求侧一致且未显式出现的特征做正样本;计算 ρ_i = log P(同属性 item | prefix) 的增量,选信息增益最大的 SID 深度插入工具;sequential 工具用 Vote(前缀匹配投票)近似最大化预测增益,工程实现简单。
- 长行为序列压缩为单个 observation token 的 Vote/Attn 方案值得抄:对比直拼 400 个 GSU token,Recall@50 基本持平(0.3237 vs 0.3241),训练时间降 81.8%,serving GPU 降 42.9%,适合有长用户行为序列但不能承受长 prompt 成本的场景。
- 两阶段训练 + 对新增 tool token 的 loss 动态缩放 α_k(用 SID vs tool 难度比 clip 到 [0,1])能稳定扩工具,避免破坏已学好的 SID 表示;这为线上迭代新增特征/工具提供低风险路径。
CASI:基于集合干预的 Agentic 检索信用分配
🧭 LLM 多 query 联合生成与信用分配 ★ 深度解读
Xiaohongshu Inc.
用快照集合干预构造反事实子集价值,Shapley 聚合加有界零和优势整形,实现多检索动作的上下文相关信用分配,线上广告主价值提升 3.51%
📌 工作参考价值(4 点)
- 在多 query/多策略并行召回或 rewrite 场景,不要直接 broadcast set-level reward;可复用「一次生成+一次检索,缓存各 action 结果,只改 coalition 组合,用冻结 evaluator 批量打分」的做法,不增加线上生成/检索成本。
- m≥4 时 singleton、leave-one-out、full-set 不能唯一确定 Shapley 分配;业务里如果 action 数≥4,仅按单 action 或 leave-one-out 赋 reward 会丢中间 coalition 信息。additive 价值下三者等价,所以先判断是否真的需要中间 coalition 查询。
- 有界零和 advantage shaping 值得直接抄:对 credit 先 within-rollout center,再用 group-level 共享 scale 归一化,最后投影到 sum=0、∞≤κ 的 box;避免独立 clip 破坏零和导致 advantage 漂移。token 级 implementation 把 action 内 token 赋 action advantage,shared token 保持 base。
- 训练用 surrogate evaluator 替代线上 auction replay:m=5 时 31 个 coalition 打分不是 31 次 auction replay;但上线前必须审计训练 evaluator 与 replay/production 的 size-resolved sign agreement,否则 CASI 可能不优于 Singleton。
长期自我中心视频记忆的构建与推理:MemLife与MemOpt
🧭 长期视频记忆 Agent 与 RL 训练 writer ★ 深度解读
Meta Reality Labs · University of Virginia · University of Illinois Urbana-Champaign
提出MemLife多模态记忆系统与MemOpt强化学习框架,只训练记忆写入器即显著提升长期视频QA
📌 工作参考价值(4 点)
- 记忆写入与读取解耦:将非结构化多模态行为流(观看/会话/操作)离线压缩成时间戳+实体锚定的文本条目,线上只做检索与推理,可大幅降低长期用户行为记忆的存储与查询成本。在电商场景可对用户历史生成第一人称摘要(“我上周浏览过某商品”),对齐自然语言问询。
- 时间索引 + 语义搜索:检索时先用时间区间过滤再做 embedding 相似度排序,并按时间顺序组织证据,能缓解长历史中相似事件的检索竞争。迁移到搜索推荐可处理“上个月看过的那双鞋”等时间敏感查询,先缩小候选集再匹配。
- RL仅训练记忆写入器而非端到端答案:奖励分解为 Faithfulness / Informativeness / Retrievability,避免 reader 执行噪声干扰,训练稳定且跨 backbone 泛化。可以对用户行为摘要或商品描述生成模块采用类似分解奖励,将“信息量”和“可检索性”纳入优化目标。
- 可检索性离线评估:用固定 reader 缓存 actions 重放判断候选记忆是否会被检索到,无需每次生成新推理轨迹,显著降低训练开销。在推荐/搜索中评估历史摘要或商品描述的召回效果时,可用固定策略重放,快速离线筛选高质量候选。
MemDreamer: 分层图记忆与代理检索解耦感知推理的长视频理解框架
🧭 长视频理解 · 分层图记忆 · 代理检索
Ant Group · Zhejiang University · Central South University · HKUST(GZ)
通过分层图记忆和代理工具检索将长视频理解转化为探索过程,仅用2%上下文窗口即实现SOTA
📌 工作参考价值(4 点)
- 层次化图记忆可借鉴到用户行为序列或商品图谱建模:将用户交互构造成多粒度语义图(session→item→attribute),捕捉时序与因果关系,用于召回或推理。
- 代理式检索(Observation-Reason-Action循环)可应用于对话式推荐:工具增强的代理动态查询知识库,缩小上下文窗口,提升长对话或复杂推荐场景下的推理准确性和效率。
- 解耦感知与推理:将特征编码(感知)与排序策略(推理)分离,允许流式增量更新用户记忆,缓解长序列带来的注意力稀释,适合实时推荐场景。
- 稀疏图记忆检索大幅降低计算开销:推理时仅检索关键子图而非全量输入,可在推荐模型推理阶段采用类似检索增强方法,用极低 token 成本维持高性能。